Avances en el estudio de la continuidad del neuroticismo y su variante desadaptativa: aplicación de la teoría de respuesta al ítem / Advances in the Study of the Continuity of Neuroticism and its Maladaptive Variant: Application of the Item Response Theory

Resumen El Neuroticismo (N), a pesar de ser un rasgo de personalidad normal, se vincula con el padecimiento de diversas psicopatologias. Se estudió la continuidad entre el N y su variante desadaptativa, la Afectividad Negativa (AN), aplicando un modelo de la Teoría de Respuesta al Ítem (TRI) a dos escalas que miden estos constructos. Participaron 619 personas de población general (64.3 % mujeres), quienes respondieron un protocolo que incluyó 20 ítems de N del International Personality Item Pool (IPIP-NEO) y 23 ítems de AN del Personality Inventory for DSM-5 (PID-5). Inicialmenete se realizó una depuración progresiva de los ítems de N y AN a partir de criterios psicométricos del Modelo de Respuesta Graduada. Luego se calibraron conjuntamente los 22 ítems retenidos aunque se eliminaron 6 ítems por mostrar dependencia local y problemas de ajuste. Se aportaron evidencias de la continuidad postulada entre N y AN. Sin embargo, se encontró un marcado solapamiento en la localización de los ítems procedentes de ambas escalas en el continuo del rasgo que conforman N y AN.

Abstract Neuroticism (N), despite being a normal personality trait, is linked to various psychopathologies. The continuity between N and its maladaptive variant, Negative Affectivity (NA), was studied by applying a model of the Item Response Theory (IRT) to two scales that measure these constructs. A total of 619 participants from the general population (64.3% women) answered a protocol that included 20 items of N from the International Personality Item Pool (IPIP-NEO) and 23 items of NA from the Personality Inventory for DSM-5 (PID-5). First, progressive refinement of the N and NA items was carried out based on psychometric criteria from the Graded Response Model. Then, the 22 items retained were calibrated together, although 6 items were eliminated for showing local dependence and adjustment problems. Evidence of the postulated continuity between N and NA was provided. However, a marked overlap was found in the location of the items from both scales in the trait continuum formed by N and AN.

Cuestionario Revisado de Personalidad de Eysenck (versión reducida): análisis con la teoría de respuesta al ítem / Revised Eysenck Personality Questionnaire (Brief Version): Analysis with Item Response Theory

Resumen El objetivo de este trabajo es aportar nuevas evidencias de calidad psicométrica para la adaptación argentina de la versión reducida del Cuestionario de Personalidad de Eysenck (EPQ-RS). Participaron 1136 personas de población general (52.5% femenino, edad media = 29.6 años, DE = 11.9) residentes en Buenos Aires, Argentina. La adaptación argentina se compone de 42 ítems con formato de respuesta dicotómica. Se realizó un análisis factorial confirmatorio a partir de la matriz de correlaciones tetracóricas. Esto permitió replicar la estructura propuesta por Eysenck para el modelo PEN (Psicoticismo-Extraversión-Neuroticismo) y la escala Sinceridad. Posteriormente, se ajustó el modelo logístico de dos parámetros por separado para los ítems de cada escala. Los ítems no mostraron funcionamiento diferencial según género. La discriminación de los ítems resultó moderada-alta. Los parámetros b se localizaron en rangos acotados de cada uno de los rasgos medidos, lo que originó que la precisión de las escalas varíe en el recorrido de los continuos. La escala Neuroticismo aporta más información en niveles medios del rasgo, Psicoticismo en los medio-bajos y Extraversión en los medio-altos. La escala Sinceridad mostró una función de información relativamente plana en todo el recorrido del rasgo. Se brindan evidencias de validez basadas en la relación con otras pruebas que miden facetas del neuroticismo y sintomatología. Las evidencias de validez y confiabilidad obtenidas ofrecen garantías de calidad suficientes para la aplicación de este instrumento en el contexto local y confirman la vigencia del modelo teórico que operacionaliza el EPQ-RS.

Abstract The aim of this work is to provide new evidence of psychometric quality for the Argentinean adaptation of the brief version of the Eysenck Personality Questionnaire (EPQ-RS). 1136 people from the general population (52.5% female, mean age = 29.6 years, SD = 11.9) residing in Buenos Aires, Argentina participated. The Argentinean adaptation consists of 42 items with dichotomous response format. A confirmatory factor analysis was performed from the tetrachoric correlation matrix. This allowed replicating the structure proposed by Eysenck for the PEN model (Psychoticism - Extroversion - Neuroticism) and the Lie scale. Subsequently, the two-parameter logistic model was adjusted separately for the items of each scale. The items did not show differential functioning by gender. Items discrimination was moderate-high. Parameters b were located in narrow ranges of each one of the measured traits, which caused the precision of the scales to vary along the trait continuums. The Neuroticism scale provides more information at medium levels of the trait, Psychoticism in the medium-low and Extraversion in the medium-high. The Lie scale showed a relatively flat information function throughout the trait. Evidence of validity based on the relationship with other tests that measure facets of neuroticism and symptomatology is provided. The evidence of validity and reliability obtained offers sufficient quality guarantees for the application of this instrument in the local context and confirms topicality of the theoretical model that operationalizes the EPQ-RS.

Propiedades psicométricas de una escala de Depresión basada en el Modelo de los Cinco Factores / Psychometric properties of a Depression scale based on the Five Factor Model

Resumen Se presenta el proceso de construcción de una escala para medir la faceta De-presión según el Modelo de los Cinco Factores. Se realizó una revisión de las definiciones teóricas y operacionales de autores relevantes de este modelo. Luego se elaboraron 15 ítems iniciales, 3 de los cuales fueron eliminados por jueces expertos. Los ítems conservados se administraron a 1222 adultos de población general residentes en el área metropolitana de Buenos Aires, Argentina (50.8 % mujeres, edad media = 33.2 años y DE = 11.8 años). Se seleccionó aleatoriamente un 35% de casos para depurar el instrumento con un análisis factorial exploratorio. El 65% restante se utilizó para corroborar la estructura interna con un análisis factorial confirmatorio y para ajustar el Modelo de Respuesta Graduada de la Teoria de Respuesta al Ítem. Los resultados muestran que los 10 ítems de la versión definitiva conforman una estructura unidimensional con adecuada consistencia interna. Se aportan evidencias de validez concurrente con EPQ-RA y SCL-90-R. La Función de Información revela que la escala mide con precisión elevada y constante en un rango extenso del rasgo. Se concluye que la escala permite valorar de manera satisfactoria las diferencias individuales en la tendencia a experimentar afectos depresivos.

Abstract The process of constructing a scale to measure the Depression facet, according to the Five Factors Model, is presented. A review of the theoretical and operational definitions of relevant authors of this model was carried out. Then, 15 initial items were elaborated, 3 of which were eliminated by expert judges. The retained items were administered to 1222 adults of the general population residing in the Buenos Aires Metropolitan Area, Argentina (50.8% women, mean age = 33.2 years and SD = 11.8 years). A random selection of 35% of cases was made to reduce the instrument with an Exploratory Factor Analysis. The remaining 65% was used to corroborate the internal structure with a Confirmatory Factor Analysis, and to fit the Graded Response Model of the Item Response Theory. The results show that the 10 items of the final version form a one-dimensional structure with adequate internal consistency. Evidence of concurrent validity is provided with EPQ-RA and SCL-90-R. The Test Information Function reveals that the scale measures with constant high reliability over a wide range of the trait. It is concluded that the scale allows a satisfactory assessment of individual differences in the tendency to experience depressive effects.

La estructura de la conducta prosocial. Su aproximación mediante el modelo bifactorial de la Teoría de la Respuesta al Ítem Multidimensional / The structure of prosocial behavior. Its approach through the Multidimensional Item Response Theory's two-factor model

Problema y objetivos: conocer si la estructura de la conducta prosocial medida por la Escala de Conducta Prosocial (ECP) puede ser representada por un factor general, la prosocialidad, combinado con los factores específicos, las subescalas de la ECP. Método: se trató de una muestra por accesibilidad de 692 participantes (65% mujeres), residentes en Gran Buenos Aires e interior de la Argentina. Se comprobaron los supuestos de unidimensionalidad y dependencia local, posteriormente se comparó el ajuste relativo entre tres modelos de la Teoría de la Respuesta al Ítem: Modelo de Respuesta Graduada (MRG), Modelo de Respuesta Graduada Multidimensional (MRGM) y Modelo de Respuesta Graduada Bifactorial (MRGB). Resultados: el MRGB fue el modelo con mejor ajuste relativo, se implementó dicho modelo calculándose los parámetros condicionales y marginales. Asimismo, se calculó el índice ECV. Conclusiones: los ítems de la ECP fueron influenciados primariamente por la prosocialidad. La subescala Ayuda explicó una proporción importante de la varianza común. En cambio, la subescala Confortar, considerada como factor específico, explicó una parte pequeña de dicha varianza

Problem and objectives: to find out if the structure of the prosocial behavior measured by the Prosocial Behavior Scale (PBS) can be represented by a general factor, i.e. prosociality, combined with specific factors: the subscales of the PBS. Method: the sample consisted of 692 subjects (65% females) recruited by a convenience sampling method and living in Greater Buenos Aires and inland areas of Argentina. The assumptions of unidimensionality and local dependence were checked. Then the relative fit was compared between three models of the Item Response Theory: Graded Response Model (GRM), Multidimensional Graded Response Model (MGRM) and Two-Factor Graded Response Model (TGRM). Results: the TGRM showed the best relative fit. This model was implemented by calculating the conditional and marginal parameters. Likewise, the ECV index was calculated. Conclusions: the PBS items were primarily influenced by prosociality. The Help subscale explained a significant proportion of the common variance. In contrast, the Comfort subscale, considered as a specific factor, explained a small part of said variance.

Versión Argentina de la Escala de Gratitud de Alarcón / Alarcon's Argentine Gratitude Scale

Resumen Objetivo: La investigación tuvo como fin la adaptación para adultos argentinos de la Escala de Gratitud de Alarcón (EG). Método: La EG se administró a 923 participantes (65% mujeres) cuya media de edad fue de 31 años. Se separó la muestra en dos partes en forma aleatoria. Con una de las submuestras se realizó un Análisis Factorial Exploratorio (AFE) mientras que sobre la otra submuestra se corroboró la estructura hallada en el AFE mediante un Análisis Factorial Confirmatorio (AFC). El AFE se efectuó mediante el método de mínimos cuadrados no ponderados robustos para la extracción de los factores con base en la matriz de correlaciones policóricas y la implementación óptima del análisis paralelo para la determinación del número de dimensiones. El AFC también se basó en la matriz de correlaciones policóricas, estimándose los parámetros con el método de mínimos cuadrados ponderados robustos. Resultados: Mientras que la estructura factorial de EG era tridimensional, los puntajes de la versión argentina mostraron evidencias de unidimensionalidad. Un modelo monofactorial de 12 ítems describió el 51,28% de la varianza. El alfa ordinal fue de 0,91. Se exploraron relaciones entre el puntaje en gratitud y las variables sociodemográficas género, edad, zona de residencia y nivel máximo de educación alcanzado. Se obtuvieron evidencias de validez convergente con la Versión Argentina de la Escala de Eratitud de Lima de Alarcón y la Escala de Conducta Prosocial de Auné, Abal y Attorresi. Conclusiones: Se concluye que las propiedades psicométricas evidenciadas en el AFE y en el AFC así como el resultado del análisis de la validez convergente de la versión argentina de la EG resultan adecuados. Dada la relación negativa de la gratitud con el neuroticismo, la depresión y la tasa de suicidio, esta escala puede ser utilizada en intervenciones de corte clínico y psicosocial. Al ser unidimensional, el puntaje total de la escala es el puntaje en gratitud, siendo así muy sencilla para administrar y puntuar.

Abstract Objective: In this paper the Alarcon's Gratitude Scale (GS) adapted for Argentinian adults is showed. Method: The GS was administered to 923 participants that were sampled as follows: 65% were women with an average age of 31. The sample was randomly divided in two groups. An Exploratory method of Factor Analysis (EFA) was conducted using one of the sub-samples, at the same time, through a Confirmatory method of Factor Analysis (CFA) the other group's structure results from EFA were corroborated. Also, in order to get factors, based on the polychoric correlation matrix and the optimal implementation of parallel analysis, for determining the number of dimensions, weighted least squares method (EFA) were used; taking into account that parameters were estimated through weighted least squares method. The EFA was based on the polychoric correlation matrix. Results: While the factorial structure of the GS was three-dimensional, the scores got from Argentine version showed evidences of uni-dimensionality. A 12 items single factor model showed 51,28% of variance and ordinal alpha was 0,91. Relationships between the gratitude score and socio-demographic variables such as gender, age, place of residence and maximum level of education reached were explored, showing as results evidence of convergent validity between the Argentine version of Alarcon's Gratitude Scale of Lima and Auné, Abal and Attorresi's Social Behavior Scale. Conclusions: It is concluded that the psychometric properties evidenced in the EFA and in the CFA as well as the result of the analysis of the convergent validity of the Argentine version of the GS are adequate. Given the negative relationship of gratitude with neuroticism, depression and suicide rate, this scale can be used in clinical and psychosocial interventions. Being one-dimensional, the total score of the scale is the score in gratitude, thus being very easy to administer and score.

Versión argentina de la Escala de Felicidad de Lima / Argentine version of the Happiness Scale from Lima

Resumen El artículo tiene por objetivo presentar la adaptación para adultos argentinos de la Escala de Felicidad de Lima construida por Alarcón (2006). Se aplicó a 1004 sujetos (65 % mujeres) con una media de edad de 31 años. Se realizó un análisis factorial exploratorio con base en la matriz de correlaciones policóricas, mediante el método de mínimos cuadrados no ponderados y utilizando rotación Promax. De las cuatro subescalas de la versión original se mantuvieron dos, de las cuales una de ellas: sentido positivo de la vida, se dividió en dos dimensiones. La versión adaptada se compuso de 12 ítems distribuidos en tres subescalas que explican el 69 % de la varianza: sentido de la vida perspectiva externa, sentido de la vida perspectiva interna y satisfacción con la vida. Se obtuvieron evidencias de validez convergente y el nivel de consistencia interna de las subescalas fue, como mínimo, aceptable según el criterio de DeVellis.

Abstract This article presents an adaptation of the Happiness Scale from Lima, designed by Alarcón, for Argentine adults. The scale was applied to 1004 individuals (65% women) with a mean age of 31. An exploratory factor analysis was carried out on the basis of a polychoric correlation matrix using the method of non-weighted least squares and promax rotation. Two subscales were kept out of the four included in the original version, and one of them, Positive Sense of Life, was itself divided into two dimensions. The adapted version was made up of 12 items divided into three subscales explaining 69% of variance: External Perspective of Sense of Life, Internal Perspective of Sense of Life and Life Satisfaction. Evidence was obtained of convergent validity, and internal consistency of the subscales was at least acceptable according to DeVellis criteria.

Efectos del género y la educación en la felicidad en adultos argentinos / Effects of gender and education on happiness in Argentinian adults

La felicidad se conceptualiza como una emoción positiva centrada en el presente, muy deseable pero difícil de conseguir. Para estimarla se aplicó la versión argentina de la Escala de Felicidad de Lima de Alarcón (2006) compuesta de tres dimensiones: Sentido de la Vida Perspectiva Externa (SVPE), Sentido de la Vida Perspectiva Interna (SVPI) y Satisfacción con la Vida (SCV). Se seleccionaron tres muestras independientes de 200 individuos cada una (50% mujeres) considerando diferentes niveles educativos -desde secundario completo hasta universitario completo-. Se realizó un análisis de la varianza (ANOVA) de dos vías en cada dimensión considerando como factores fijos el género y el nivel educativo. En las tres dimensiones la interacción entre tener un mayor nivel educativo y ser del género femenino favoreció en forma significativa los mayores puntajes de felicidad (SVPE, F = 4.14, p = .02, η2 parcial = .014; SVPI, F=2.34,p=.09,η2 parcial=.008;SCV,F=3.34,p=.04, η2 parcial = .011). En SVPE y SVPI un mayor nivel educativo por sí mismo tuvo como efecto puntajes de felicidad más altos (SVPE, F = 4.12, p = .02, η2 parcial = .014; SVPI, F = 4.24, p = .02; η2 parcial = .014), mientras que en SCV fue pertenecer al género femenino el factor que aumentó en forma significativa los niveles de felicidad (F = 3.03, p = .08, η2 parcial = .005).

Happiness is defined as a positive emotion focusing on the present, which is highly desirable but difficult to achieve. To estimate the level of happiness in adults, we used the Argentinian version of the Happiness Scale of Lima (EFL, Alarcón, 2006). The EFL measures three dimensions: External Perspective of Sense of Life (SVPE), Internal Perspective of Sense of Life (SVPI) and Life Satisfaction (SCV). Three independent samples of 200 individuals each (50% female) were selected considering different educational levels (from high school graduates to college graduates). A two-way analysis of variance (ANOVA) was applied to each dimension taking into account gender and educational level as fixed factors. In all three dimensions, the interaction between having a higher educational level and being female favored significantly the highest scores of happiness (SVPE, F = 4.14, p = .02, partial η2 = .014; SVPI, F = 2.34, p = .09, partial η2 = .008; SCV, F = 3.34, p = .04, partial η2 = .011). A higher level of education by itself resulted in SVPE and SVPI higher happiness scores (SVPE, F = 4.12, p = .02, partial η2 = .014; SVPI, F = 4.24, p = .02; partial η2 = .014), whereas being female was the factor that significantly increased the levels of SCV happiness (F = 3.03, p = .08, partial η2 = .005).

El Modelo de Crédito Parcial aplicado a la escala distorsión del Big Five Questionnaire

Se aplicó el Modelo de Crédito Parcial (MCP) de la Teoría de Respuesta al Ítem al análisis de ítems de la adaptación española escala Distorsión del Big Five Questionnaire. Esta escala evalúa la tendencia de los individuos a ofrecer un perfil distorsionado. Participaron 1592 adultos de población general (55% sexo femenino). El análisis de los datos se realizó con Winsteps. El ajuste del MCP fue adecuado para todos los ítems; no obstante, un porcentaje considerable de evaluados no presentó un patrón de respuestas acorde a las expectativas del modelo. Cinco ítems presentaron inversiones en el orden esperable para los valores estimados de parámetros de umbral. Los resultados revelaron las debilidades que presenta la escala y orientan sobre posibles modificaciones futuras.

The Partial Credit Model (PCM) of the Item Response Theory was applied to the Spanish Lie Scale adaptation of the Big Five Questionnaire. The scale measures individuals' tendency to provide a distorted profile. The sample comprised 1592 adults from the general population (55% females). All analyses were performed by means of Winsteps software. The PCM exhibited satisfactory goodness-of-fit for all items. However, a considerable proportion of respondents had incongruent response patterns which were not in agreement with the model's expectations. Five items presented inversions in the order expected for the estimated values of threshold parameters. These findings show the scale weaknesses and yield useful information to guide possible changes in future research.

Aplicación del Modelo de Respuesta Graduada a una Escala de Voluntad de Trabajo / Application of the Graded Response Model to a Will-to-Work Scale

Se presentan los resultados obtenidos con la aplicación de un modelo de la Teoría de Respuesta al Ítem (TRI) a los reactivos de una prueba que mide la Voluntad de Trabajo (VT). La VT es un rasgo de la personalidad que describe la tendencia de un individuo a asumir sus obligaciones con responsabilidad, automotivación y sin dilaciones, aun cuando estas pudieran no ser de su agrado. La escala que mide la VT se compone de 9 ítemes con formato de respuesta ordenada de 4 valores. Se aplicó el Modelo de Respuesta Graduada (MRG) de Samejima a datos provenientes de la administración de la escala de VT a una muestra de 1.141 universitarios. Previamente se verificó la condición de unidimensionalidad de los ítemes, requerida por el MRG. El análisis de los datos se realizó operando el programa MULTILOG. La estimación de los parámetros de este modelo se efectuó por máxima verosimilitud marginal. Sólo uno de los ítemes mostró un comportamiento inadecuado. La mayoría de los parámetros de localización tendieron a ubicarse en niveles medios bajos de la escala. Los parámetros de discriminación adoptaron valores entre moderados y altos. La Función de Información del Test evidenció que la escala es más precisa para discriminar individuos con niveles medios-bajos del rasgo evaluado. Los resultados revelaron los problemas que presenta la escala de VT y permitieron obtener información útil para orientar la construcción de nuevos reactivos.

This study aims to present the findings obtained from the application of an Item ResponseTheory model (IRT) to the reactive of a Will-to-Work Measuring Test (WW). WW is defined as the individuals' tendency to generate efficient volatile processes that allow them to commit themselves to starting a task and to persisting in its execution by overcoming obstacles until they achieve its materialization with precision and without procrastination. WW is a personality trait that describes the predisposition of an individual to assume duties in a responsible, self-motivated and prompt manner even when such duties may be unappealing. The scale measuring the WW comprises 9 items in polychromous response format (four-point rating scale), with the response options graded. Accordingly, one of the IRT most widely used models was applied for the monetization of ordered polychromous responses: Samejima's Graded Response Model (GRM). The GRM is a generalization of the Two Parameter Logistic Model of Birnbaum. In GRM, a person's probability of responding in category j to a specific item i, Pij(θ), is obtained by subtracting the probability of responding in or below category j-1 from the probability of responding in or below category j.Through the Item Response Category Curves, the GRM allows for the representation of an individual's likelihood to choose each of the item categories based on the level of the latent trait measured. The data from this psychometric test was obtained from a sample of 1,141 university students. The one-dimensional assumption required by the GRM was corroborated through an exploratory analysis of the data factor structure. The local independence assumption was considered to be satisfied after proving the scale one-dimensionality. All analyses based on the IRT were performed by operating the MULTILOG software program. The GRM parameters estimation was carried out through marginal maximum likelihood procedures. A discrimination parameter (a) and three location parameters (b1, b2 and b3) corresponding to thresholds separating the 4 response categories were estimated for each item. The model's goodness-of-fit was studied on an item basis by examining the residue of observed and expected proportions for each of the ordered response categories. The residue obtained was the same as or lower than .01, which led to the conclusion that the model adjustment to the data was satisfactory for all reactive. Despite this, one of the items showed inappropriate behavior. The value of its location parameters turned out to be very different from the expected one and showed high estimation errors when compared against the values obtained for the rest of the items. Most of the location parameters showed midlow WW values and discrimination parameters showed mid-high values (0.73 - 1.73). The instrument's reliability was acceptable if we consider the.75 marginal reliability coefficient obtained from IRT. However, local accuracy measures showed that the test is less reliable when measuring the WW highest levels. In other words, the measure error increases as we attempt to discriminate strongly willful individuals. This means that the WW scale is useful to measure mid-low levels of WW, but less accurate when it comes to individuals whose trait level is higher. It is therefore concluded that it is necessary to raise the number of WW scale items to optimize the instrument quality. It is particularly important to identify construct indicators allowing for a more accurate detection of the highest trait levels. The shortage of the application of IRT models to personality tests as well as the difficulty that the achievement of their exigent assumptions were discussed. The findings showed the problems posed by the WW scale and allowed us to obtain useful information to guide the building of new items.

Revisión de investigaciones recientes sobre la aplicación de la Teoría de Respuesta al Ítem al Child Behavior Checklist / Revision of recent investigations about the application of Item Response Theory to the Child Behavior Checklist

El Child Behavior Checklist (CBCL) es un formulario que permite registrar problemas comportamentales y competencias sociales de niños y adolescentes. Si bien se construyó desde el enfoque clásico de la Teoría de los Test, investigaciones recientes mostraron la utilidad de aplicar la Teoría de Respuesta al Ítem (TRI) para modelizar las variables del CBCL. El desarrollo de este trabajo revisa las consideraciones que se vieron obligados a tomar los respectivos autores para cumplir con las exigencias de los modelos de la TRI. Se describe la información que brindan las Curvas Características de los Ítems y cómo su análisis podría contribuir para optimizar el tiempo de administración del CBCL. Asimismo, se sintetizan los resultados alcanzados en relación con el estudio de la invarianza de las medidas obtenidas a través de adaptaciones transculturales de este formulario.

The Child Behavior Checklist (CBCL) is a questionnaire that allows the assessment of behavioral problems and social competences of children and adolescents. Although it was developed on the basis of the classical approach of the Test Theory, recent investigations have revealed the usefulness of applying the Item Response Theory (IRT) to model the variables of CBCL. This paper revises the considerations made by the respective authors in order to meet the demands of the IRT models. The information provided by the Characteristic Curves of Items is described as well as the manner in which the analysis thereof might contribute to optimize the administration period of CBCL. Furthermore, the invariance of the measures obtained through transcultural adaptations of this questionnaire is analyzed and the results are summarized.

Aplicación del modelo LLTM de Fischer al análisis de las fuentes de dificultad de ítemes de razonamiento deductivo / Application of the Fischer LLTM model to the analysis of the sources of difficulty of deductive reasoning items

El Modelo Logístico Lineal de Rasgo Latente (LLTM) de Fischer permite descomponer la dificultad de un ítem como suma de los efectos debidos a las fuentes de dificultad predichas por las teorías cognitivas, decidir si éstos son significativos y estimarlos. En el estudio que se informa se diseñaron y elaboraron 24 ítemes de razonamiento deductivo teniendo en cuenta las fuentes de dificultad predichas por las teorías cognitivas y por la experiencia educacional. Se administraron a 251 estudiantes de la Carrera de Psicología de la Universidad de Buenos Aires (UBA). Se describe el procedimiento para seleccionar un subconjunto de los mismos al cual ajuste el modelo LLTM. El objetivo de este trabajo fue verificar la pertinencia de las fuentes de dificultad consideradas y orientar la construcción de nuevos ítemes. Se logró un buen ajuste del modelo de Rasch (p = .89) y del modelo LLTM (p = .11) sobre 12 de ellos. Los valores z de Wald resultaron no significativos para los 12 ítemes mencionados. La correlación de los parámetros de dificultad estimados en ambos modelos fue: r = .99. Se consideraron cinco componentes que resultaron significativos. Éstos fueron, en orden decreciente de dificultad, la presencia de: (a) falacias de afirmación del consecuente y de negación del antecedente, (b) negación afectando a la disyunción o conjunción, (c) contenido abstracto o simbólico, (d) cuantificadores y (e) condicionales. Se verificaron los supuestos de invariancia para los parámetros de los ítemes y de los sujetos. Los resultados de esta etapa exploratoria alientan a seguir construyendo ítemes tomando en cuenta las fuentes de dificultad halladas.

The processes involved in deductive reasoning have been studied by Cognitive Psychology since the seventies. Many hypotheses have been put forward to explain the difficulties in solving simple reasoning problems when considering their logical connectives, content and context of the tasks in which they are presented. These hypotheses have led to the development of different theories of reasoning like those based on the formal inference rules approach (Braine, 1978; Braine & O'Brien, 1991; Braine & Rumain, 1983; Rips, 1994), the Pragmatic Schemas Theory (Cheng & Holyoak, 1985) and the theory of semantic mental models (Johnson-Laird, 1983, Johnson-Laird & Byrne, 1991). The componential models of the Item Response Theory have allowed Psychometry to explain said these processes (Embretson, 1994). Thus, for instance, the Linear Logistic Latent Trait Model (LLTM) (Fischer, 1973, 1997), an extension of the Rasch model, expresses item difficulty as the sum of the effects due to the sources of difficulty predicted by the mentioned cognitive theories, which enables us to decide whether these effects are significant and estimate them. In other words, the Rasch item parameters β1 are linearly decomposed in the form where p is the number of components considered, αl -the basic parameters of the model, expresses the difficulty of each component l, w il is the weight of αl with respect to the difficulty of the item i and c is an arbitrary normalization constant. Formula (1) implies that the application of the LLTM model makes sense only when the Rasch model fits the data. On the other hand, if the proposed components were sufficiently exhaustive to explain the differences between the items, formula (1) would allow us, once the basic parameters αl have been estimated, to recover estimates similar to those obtained directly by the application of the Rasch model, which would imply a high correlation between the parameters estimated under both models. The identification of the difficulty components and the estimate of their effects may be useful to generate items with preset difficulty parameters. This paper describes the process to find a subset of deductive reasoning items to which the LLTM model fits well. A set of 24 deductive reasoning items were designed and created considering the sources of difficulty predicted by cognitive theories and educational practice. The objective is to verify the suitability of such sources and to guide the construction of new items. Each item may consist of one, two or three premises and one conclusion. The individual must decide whether the conclusion is true or false. Nine items are made of concrete content, neutral to avoid any bias due beliefs or opinions, and the remaining ones have abstract or symbolic content. They were administered to a sample of 251 students of Psychology (Universidad de Buenos Aires - Argentina), composed of 24% males and 76% females, whose average age is 22.68 (DS = 6.35). Good fit for the Rasch model (p = .89) and for the LLTM model (p = .11) were obtained for 12 of them. The Wald z-values were not significant for the 12 items mentioned before. The linear correlation between the parameters estimated under both models was r = .99. Five components that turned out to be significant were considered. These components are listed in a decreasing level of difficulty: (a) affirmation of the consequent and negation of antecedent fallacies, (b) negation when affecting disjunction / conjunction, (c) abstract or symbolic content, (d) quantifiers and (e) conditionals. The two assumptions that refer to both, the item and subject parameter invariance, were checked. The results of this exploratory step encourage us to go on constructing new items taking into account the sources of difficulty that were found.

El modelo multiple choice y su utilidad para reducir distractores / The multiple choice model and its usefulness to reduce distractors

A redução dos distratores pode ser uma ferramenta útil para melhorar a qualidade psicométrica de um teste ou reduzi-lo sem que a validade de conteúdo seja prejudicada. O objetivo deste trabalho é apresentar critérios para a redução dos distratores surgidos da análise das curvas características de um modelo da Teoria de Resposta ao Item: A Múltipla Escolha de Thissen e Steinberg (1997). Foram registrados possíveis comportamentos inadequados dos distratores em dois grupos: curva crescente e curva horizontal. Estas categorias permitem decidir qual a alternativa que é possivel eliminar, baseado no grau de inadequação do funcionamento do distrator. Este procedimento permite ter um conjunto de opções mais homogêneo e mais plausível. Se discute as vantagens de fazer implementações destes critérios em diferentes etapas de elaboração e adaptação de um teste.

The reduction in the number of distractors may be a useful tool to improve the psychometric quality of a test or to shorten it without affecting content validity. The purpose of this study is to put forward criteria for the reduction of distractors as suggested in the characteristic curves analysis of an Item Response Theory model: Thissen and Steinberg's Multiple Choice (1997). Possible unsuitable distractor behaviors were classified in two groups: growing curve and horizontal curve. These categories allow to make a decision on which alternative to remove based on the degree of unsuitability of the distractor. This procedure leads to a more homogeneous whole with more plausible options. It is discussed which advantages there are in the implementation of these guidelines at different moments in the test construction or adaptation.

Variables asociadas a la dificultad de ítems de razonamiento condicional / Variables associated with the difficulty of conditional reasoning items

El objetivo del presente trabajo es realizar un estudio descriptivo y exploratorio para analizar fuentes de dificultad que afectan la evaluación de la validez de los cuatro argumentos condicionales clásicos: Modus Ponens (MP), Modus Tollens (MT), Afirmación del Consecuente (AC) y Negación del Antecedente (NA). Estas fuentes son: tipo de argumento, tipo de contenido, presencia de negaciones y cantidad de sujetos gramaticales que tienen el antecedente y el consecuente de la premisa condicional. Se diseñaron 51 ítems distribuidos en seis pruebas diferentes, administradas a seis grupos de estudiantes universitarios conformando un total de 725 participantes. Los resultados indican que el MP es más fácil que el MT, hallándose además una amplia aceptación de la validez del AC y del NA, siendo más fácil el reconocimiento de la falacia NA que el de AC. Se encuentran efectos del tipo de contenido para todos los argumentos menos para MP, siendo el contenido concreto un facilitador del reconocimiento de la validez. Tanto la falta de negaciones como su presencia en el antecedente y en el consecuente a la vez, son facilitadoras. El número de sujetos gramaticales incluidos en las proposiciones se asocia con la dificultad del argumento en MT y AC, siendo los argumentos de un sujeto más fáciles que los de dos.

Voluntad de trabajo en estudiantes de psicología / Will-to-work among students of psychology

Se presenta el perfil de los estudiantes de psicología en Voluntad de Trabajo para enriquecer la discusión de los docentes con respecto a la responsabilidad de los alumnos. Por Voluntad de Trabajo se entiende la tendencia a asumir las obligaciones con responsabilidad, automotivación y sin dilaciones. La escala Voluntad de Trabajo consiste de 8 ítems Likert (α = .685) y se administró a 1,141 estudiantes de segundo año de Psicología, UBA, quienes tendieron a puntuar alto. Los adultos (30 años o más) presentaron una media mayor que los jóvenes (18 a 29 años). Se observó interacción Género x Trabajo; los varones que no trabajan puntúan más bajo, no habiendo diferencias entre mujeres que no trabajan y mujeres y varones que trabajan. Se ensayan distintas explicaciones para estos hallazgos y la posible influencia de la deseabilidad social y de los estándares de exigencia en el sesgo de los puntajes obtenidos.

Construcción de una escala de voluntad de trabajo / Construction of a will to work scale

Se presenta el proceso de construcción de una escala para medir el rasgo Voluntad de Trabajo en estudiantes universitarios. La Voluntad de Trabajo se caracterizó como la tendencia por la cual una persona se aboca a sus obligaciones realizándolas con responsabilidad, automotivación y precisión. Se administró un conjunto inicial de 21 ítems a 1,141 estudiantes de Psicología de la Universidad de Buenos Aires. Mediante el análisis clásico de ítems y de su funcionamiento diferencial, se obtuvo una escala unidimensional de 8 ítems con un Alfa de Cronbach de .685. La escala mostró capacidad para discriminar individuos que trabajan de los que no lo hacen y una moderada asociación con la asunción de la responsabilidad.

Medida del funcionamiento diferencial del ítem en el marco de la teoría de respuesta al ítem / Measuring differential item functioning in the item response theory

En el estudio del funcionamiento diferencial del ítem (DIF - differential item functioning) la medición de su tamaño proporciona información relevante. Entre las medidas del DIF más utilizadas se encuentra el logaritmo de la razón común de las posibilidades de Mantel-Haenszel (Mantel-Haenszel Log Odds Ratio, MH-LOR). En el trabajo que se informa se analiza la similitud de los resultados al aplicar MH-LOR y una medida obtenida en el marco de la teoría de respuesta al ítem (TRI), a la que se denomina LOR-TRI, sobre datos reales y sobre datos simulados sin DIF. Los datos reales corresponden a una prueba de 20 ítem de razonamiento verbal, respondida por egresados del ciclo medio de enseñanza y por alumnos universitarios. Cada ítem presenta un par de palabras - base entre las cuales existe algún tipo de relación y cuatro opciones de pares de palabras entre las que se debe elegir aquel cuya relación sea la más cercana a la del par base. Para los datos simulados se consideraron las respuestas a un test de 20 ítem generadas según el modelo logístico de tres parámetros. Los grupos fueron elegidos de una población normal estándar con tamaño muestral 1,000 y se efectuaron 100 repeticiones. Tanto para los datos reales como para los simulados el modelo logístico adecuado es el de tres parámetros, sin embargo se observó que el ajuste del modelo de Rasch condujo a resultados de LOR-TRI, similares a MH-LOR. Para los respectivos errores estándar se observó la misma particularidad en cuanto a la similitud, siendo ésta aún más destacada

In the study of differential item functioning (DIF), measuring its size is of great relevance. An easily interpreted measure is the Mantel-Haenszel Log Odds Ratio (MH-LOR): its sign shows the group which the item favors and its value is zero when the item does not show DIF. This research also considers a measure of DIF named LOR-IRT because it is linked to the log odds ratio and is formulated on the basis of the item parameters within the item response theory (IRT) framework. In order to study the similarity between the LOR-IRT measure according to the number of parameters of the adjusted model and MH-LOR, the DIF was analyzed through real data as well as non-DIF simulated data. The real data consists of a 20-item verbal reasoning test taken by [ ... ] senior high school and university students [ ... ] The simulated data includes answers to a 20-item test based on the three-parameter logistic model [ ... ] After analyzing the DIF of the verbal reasoning items on the basis of real data, we concluded that the LOR-IRT obtained upon the adjustment of the one-parameter logistic model (the Rasch model) led to results similar to those of MH-LOR [ ... ] The similarity between the corresponding standard errors is outstanding [ ... ]

Construcción de un banco de ítem de razonamiento verbal / Construction of a verbal reasoning item bank

El objetivo de este trabajo es presentar el desarrollo de un banco de ítem de razonamiento verbal a partir de la Teoría de Respuesta al Ítem (TRI). Se presenta la TRI y su aplicación en la elaboración de bancos de ítem que posibilitan el diseño de tests adaptativos. Los ítem son de elección múltiple y miden la habilidad para reconocer y discriminar relaciones entre palabras. Un banco de ítem es un conjunto de ítem que miden una misma variable y cuyos parámetros están calibrados (estimados) en una misma escala. La construcción de un banco es un proceso de creación-calibración de ítem que se realiza en sucesivas etapas. Como los sujetos de las muestras son diferentes en cada etapa, los ítem a calibrar deben ser administrados junto con un pequeño grupo de ítem calibrados en etapas anteriores, los cuales sirven de enlace para que todas las estimaciones resulten en la misma escala. La estimación de los parámetros se lleva a cabo por el método de máxima verosimilitud marginal ajustando el modelo logístico de tres parámetros con el programa XCALIBRE. Los análisis del funcionamiento diferencial (Differential Item Functioning - DIF) se basan en el test normal para la diferencia de los parámetros de dificultad, dicha diferencia con sus errores estándar para cada item es proporcionada por BILOG-MG. Se eliminan aquellos que no ajustan al modelo y los que presentan DIF. El banco cuenta hasta el momento con 93 ítem

Intervalos de confianza para las puntuaciones verdaderas: explicitación de sus supuestos / Confidence intervals for true scores: their assumptions made explicit

En este artículo se explicitan los supuestos sobre los que se basan los métodos para inferir los puntajes verdaderos de la teoría clásica de tests. El objetivo del presente trabajo fue fundamentar la deducción de los dos tipos de intervalos de confianza que se mencionan corrientemente en la bibliografía precisando los modelos en los cuales se deducen. Uno de ellos se basa en el error de medición (Caso 1) y el otro en el error de estimación cometido cuando los puntajes verdaderos se predicen con la ecuación de regresión sobre los observados

Una prueba de comprensión conceptual para evaluar el desempeño matemático / A conceptual comprehension test tu evaluate mathematical performance

El objetivo del presente trabajo es presentar una prueba llamada "Prueba de habilidades matemáticas" destinada a evaluar el desempeño de alumnos ingresantes a la universidad. Esta prueba pretende medir el nivel de habilidad Comprensión Conceptual, que se ha definido teniendo en cuenta las distintas taxonomías de objetivos educacionales. Se destaca la importancia de evaluar dicha habilidad por la complejidad cognitiva de los procesos psíquicos involucrados. La selección de los contenidos de la prueba se determinó desde una perspectiva experta y a partir del análisis crítico de la currícula de Matemática del ciclo medio de enseñanza. Se compone de treinta ítems de cuatro opciones sin distractor lejano. Se administró a 591 estudiantes del Ciclo Básico Común de la Universidad de Buenos Aires, al que se considera como grupo normativo. Se presentan la prueba, las claves y el rango percentilar. Se presentan los índices y coeficientes psicométricos habituales de la Teoría Clásica de Test.

The objective of this work is to present a test destined to evaluate the mathematical skills of students admitted to University. This test intends to measure the level of conceptual comprehension skill, which has been defined taking in to account the different educational objectives taxonomies. It is important to evaluate said skill due to the cognitive complexity of the psychical processes involved. Its contents were chosen by experts from a critical point of view taking into consideration the High School mathematics curriculum. It consists of thirty items with four options with far-off distractors. It was administered to 591 students from Buenos Aires University´s Common Basic Course, considered as a normative group. We present the test, the keys and the percentilar range together with the indexes and usual psychometric coefficients of the classical theory.

Incidencia de factores afectivos y de opinión en la negación de juicios / Incidence of affective factors and opinion in the denial of lawsuits

El objetivo de este trabajo es presentar un estudio preliminar y exploratorio sobre la incidencia de factores afectivos y de opinión en la forma de negar juicios universales expresados en lenguaje natural en sujetos adultos escolarizados de cultura media. Se determinaron contenidos generadores de controversia, que suscitan opiniones y actitudes afectivas de adhesión o rechazo en la sociedad. Con ellos se confeccionó un conjunto de reactivos dado a jueces competentes para su análisis y crítica de los que se seleccionaron seis. Fueron administrados a 82 estudiantes de segundo año de la Carrera de Psicología en dos etapas, en forma colectiva. Cada etapa incluyó tres reactivos: dos de respuesta abierta (uno incluía una escala ordinal de opinión) y uno de respuesta cerrada de elección múltiple. Se categorizaron las respuestas y se realizó un análisis cualitativo y estadístico de los resultados. Se presentan las hipótesis de trabajo, los reactivos, la categorización de respuestas y el análisis de resultados.

The aim of this paper is to present a preliminary and explorative study about the incidence of affective and opinion factors in the way of denying the universal judgments expressed in natural language in schooled adult subjects of middle culture. Contents that arouse controversy and generate opinions as well as affective attitudes of adhesion and rejection in the society were determined. A group of "reactives" was made up with them and given to qualified judges to be analyzed and criticized - out of which six were chosen-. These ones were collectively administered to 82 second year students of the Psychology career in two stages. Each stage included three reactives: two of open answer (one of them included an ordinal scale of opinion) and one of close answer of multiple choice. Answers were categorized and a qualitative and statistical analysis of results was carried out. The paper hypothesis, reactives, response categorization and results analysis are herein presented.